在前面的博文里,我已经介绍了
大数据躺过的坑之2017年9月份所有微信公众号干货汇总
大数据躺过的坑之2017年10月份所有微信公众号干货汇总
大数据入门基础系列之ZooKeeper是什么?
原创 | 大数据入门基础系列之ZooKeeper是什么?(补充)
原创 | 大数据入门基础系列之ZooKeeper的特点
【夜读】20多岁的尴尬,你怕不怕?
原创 | 大数据入门基础系列之ZooKeeper如何实现分布式锁
【夜读】你不优秀,可能是因为你在“假装努力”
原创 | 11月的第一个双休日,送你一首好美的歌!祝你开心,快乐,幸福!
原创 | 大数据入门基础系列之Apache版本的Zookeeper集群详细部署搭建(包括单节点、3节点、5节点)
【夜读】你在消磨时光,时光也在消磨你
原创 |【福利】Adobe Photoshop CC 2015 (32/64 Bit)功能及破解方法
在吗?我想你了!《想你的夜晚》我好孤独!你也在想我吗?
原创 | 大数据入门基础系列之CDH版本的Zookeeper集群详细部署搭建(3节点)
【夜读】慢慢变好,是给自己最好的礼物
原创 | 福利大放送:机器学习视频干货资料免费分享(100G)更新ing
原创 | 程序员该如何有效率的提升自己?
他人投稿 | 大数据入门基础系列之目前最新Apache的Zookeeper稳定版本集群详细部署搭建(3节点)(补充)
原创 | 当你垂头丧气看不清未来的时候就读一遍,夜空中最闪亮的星照耀着你
写给正在忙论文的你 | 搜集论文材料的重要性
【夜读】你不优秀,认识谁都没用
原创 | 大数据入门基础系列之浅谈ZooKeeper的数据模型
【夜读】你一无所有,你拥有一切。但,你得小心了
原创 | 大数据入门基础系列之ZooKeeper的三类角色(Leader、Follower、ObServer)
【夜读】你自己不努力改变,没有人能替你成长
大数据入门基础系列之ZooKeeper的浅谈集群间消息通信
【夜读】小时候我以为,长大后会没有烦恼……
原创 | 大数据入门基础系列之浅谈ZooKeeper的数据存储结构
原创 | 九月哥给大家发红包雨口令
原创 |“大数据躺过的坑”来啦, 这就是比“双11”更重要的活动!
【夜读】一个人,也可以活成千军万马
【夜读】今晚,重温父亲的《背影》,致远方老家的父亲
原创 | 大数据入门基础系列之浅谈ZooKeeper的架构图
【夜读】最怕你抱怨,你又不去改变
原创 | 大数据入门基础系列之浅谈ZooKeeper的读写数据
【夜读】你以为是自己输在了起跑线,其实是别人赢在了终点
原创 | 大数据入门基础系列之浅谈ZooKeeper的数据读写一致性
原创 | 九月哥:天下没有免费的午餐(大数据躺过的坑)
【夜读】真正自律的人,从不给自己找借口
原创 | 大数据入门基础系列之ZooKeeper如何处理单点故障
【夜读】生活越糟糕,你越要过得好
原创 | 大数据入门基础系列之ZooKeeper的运行模式
原创 | 大数据入门基础系列之ZooKeeper的读写机制
原创 | 大数据视频干货资料免费分享(100G)更新ing
原创 | 福利大放送:机器学习和深度学习视频干货资料免费分享(100G)更新ing
【夜读】你烦恼的根源主要在于,想得太多却做得太少
原创 | 大数据入门基础系列之ZooKeeper的Server
【夜读】从现在开始,就是最好的时间
原创 | 大数据入门基础系列之ZooKeeper如何保证服务的高可用性
原创 | 致敬曾经的我,送给2018考研的你们(最后32天)
【夜读】人和人的差距,到底是怎么拉开的
原创 | 大数据入门基础系列之详谈ZooKeeper的原子广播机制和Zab协议
【夜读】今天没有比昨天糟,就很好呀
原创 | 大数据入门基础系列之浅谈ZooKeeper的应用场景(上)
原创 | 大数据入门基础系列之浅谈ZooKeeper的应用场景(下)
原创 | 感恩节,你感恩了么?
【夜读】你不是没时间,你只是不去行动
原创 | 大数据入门基础系列之浅谈ZooKeeper的写数据流程(面试热点)
原创 | 大数据入门基础系列之详谈Hive是什么?
续
陆续写出以上博文,在对hadoop集群安装,今天收到群里群外好几位朋友的留言。
目前向我咨询:
(1)我到底如何去安装哪种版本的集群;
(2)我的配置是怎样怎样,然后帮我参考分析等,我内存只有,是不是小了,怎么办?
(3)我公司已经有N台机器,还想扩M台机器?
(4)怎么样去做数据备份和迁移?
(5)... ...
我的回答:
(1)如果你是大数据的初学者,以及你自己电脑条件有限(我相信,大部分人的电脑物理内存都是最大8G),为此,也是更好地去把基础和原理夯实基础,所以,建议初学的你从Apache版本的hadoop集群开始学起。
大数据入门基础系列之Apache版本的hadoop集群详细部署搭建(包括HA和非HA)(包括单节点、3节点、5节点)
(2)内存小了,如果你才有4G,是严重不满足大数据集群的最低配置的。除非你弄个单节点伪分布集群,但是,也是非常暂时的一个学习时间阶段,必须至少得去加内存条达到8G。
至于如何加内存条,这里可以参考我之前给自己电脑加内存条写下的一篇博文,仅供参考,不懂的可以在本平台对应群里进行交流。(不难)
给自己电脑加内存条的一些事
http://www.cnblogs.com/zlslch/p/5830875.html
(3)(4)关于从N台现有机器,到扩容至M台机器,我后续整理再贴出博文。目前这方面,由于在校明年6月份毕业的我,并没有来得及有其他精力来亲身做这方面的工作。
(5)... ...
在这里,我先说明下,有博友留言给我说,没有写出ClouderManager版本的hadoop集群搭建博文,为此,特意写出此篇博文。
1 、最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责、认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本)。
2、大数据集群范围包括3节点和4节点。本人都尝试过。
3、 安装搭建包括离线和在线。本人都尝试过
4、 版本包括自定义指定和官方最新版本搭建。本人都尝试过。
5、大数据集群节点的增加和删减。本人都尝试过。
6、虚拟机和真实物理机上搭建。本人都尝试过。
Cloudera Manager是啥?主要是干啥的?
http://www.cnblogs.com/zlslch/p/6674972.html
CentOS6.5下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)
http://www.cnblogs.com/zlslch/p/6815670.html
Ubuntu14.04下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)(在线或离线)
http://www.cnblogs.com/zlslch/p/7076561.html
关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)
http://www.cnblogs.com/zlslch/p/7093829.html
ClouderaManager版本的Hive安装部署
大数据入门基础系列之ClouderManager版本的hadoop集群详细部署搭建(1、3、4节点)(在线或离线)
对于关于ClouderaManager版本的hive,是非常的简单,也许你刚开始在安装ClouderaManager时没有考虑到hive(比如你开始因为你的笔记本学习条件有限,就只安装了个hadoop)。然后, 你现在需要来安装并学习hive组件,其实,这都是非常简单的。添加服务,一步一步走下去就是了。
同时,大可以关注我的个人博客:
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/
以及对应本平台的QQ群:161156071(大数据躺过的坑)
本文版权归(大数据躺过的坑)作者和微信公众平台共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利。 如果您认为这篇文章还不错或者有所收获,您可以通过下边的“打赏”功能 打赏我一杯咖啡【物质支持】,也可以点击右下角的【点赞】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力!
看完本文有收获?请转发分享给更多人
关注「大数据躺过的坑」,提升大神技能
觉得不错,请点赞和留言↓↓↓